Thinking with Visual Grounding
视觉锚定思维:VLMs推理步骤与图像区域显式关联
🧭 多模态推理 · 视觉定位强化学习
University of California, Los Angeles
通过在文本思维中插入点/框级视觉定位,显著提升VLM计数和空间推理性能
📌 工作参考价值(4 点)
- 电商多模态Agent可借鉴该方法,对商品图片进行属性验证时,在推理链中显式锚定图像区域(如领口、logo位置),提升判别可解释性与准确率。
- 合成数据管线利用SAM3自动提取掩码并生成点/框监督,可低成本构建商品图像问答或合规审核的接地推理数据,减少人工标注。
- 接地感知RL(答案正确+密集接地奖励)的多奖励框架,可迁移到微调多模态推荐模型,使其输出推荐理由时精准指向图片关键证据。
- 点定位适合计数、框定位从空间奖励中获益更多的结论,可指导电商图文推荐中不同任务(如数量统计 vs. 布局合规)的接地策略选择。